Vào cuối thế kỷ 17, nhiều người Phúc Kiến vì mưu sinh nên đã qua đàng Trong rồi định cư ở Chợ Lớn. Để có nơi thờ cúng, giữ gìn tập tục và gặp gỡ; những người đồng hương ở 2 phủ Tuyền Châu và Chương Châu (nên có tên là Hội quán Nhị phủ), thuộc tỉnh Phúc Kiến (Trung Quốc) đã chung góp công sức, tiền của lập nên một ngôi thờ cách nay khoảng 275 năm[1], tức vào khoảng năm 1730, mà giờ đây có tên là miếu Nhị Phủ.

Về sau, nhóm Tuyền Châu lập thêm Hội quán Ôn Lăng vào năm 1740, nhóm Chương Châu lập thêm Hội quán Hà Chương vào năm 1809, cách không xa khu vực miếu Nhị Phủ.

Từ khi thành lập cho đến nay, miếu Nhị Phủ đã qua 3 lần trùng tu lớn vào những năm 1875, 1901 và 1990. Dù vậy, ngôi miếu vẫn giữ được nét cổ kính qua phong cách kiến trúc và trang trí truyền thống của người Phúc Kiến.

Trong bài phú dài có tên Cổ Gia Định phong cảnh vịnh, chùa Ông Bổn (vì ông Bổn được thờ chính), tức miếu Nhị Phủ đã được nhắc đến: